<!DOCTYPE html>
<html >
<head>
    <meta charset="utf-8"/>
    <meta http-equiv="X-UA-Compatible" content="IE=edge"/>
    
    <title>Poco插入大量数据到数据库的优化 | xilixili.net</title>
    <meta name="renderer" content="webkit">
    <meta name="HandheldFriendly" content="True">
    <meta name="MobileOptimized" content="320">
    <meta name="apple-mobile-web-app-capable" content="yes">
    <meta name="apple-mobile-web-app-status-bar-style" content="black-translucent">
    <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1">

    <meta name="description" content="最近在调试 Poco 操作数据库的性能问题，确实发现一些有意思的地方，不仅有事务方面的批量，还有容器实现的内部批量，当然先以最基础的事务模式作为开头，来进插入性能的对比测试
事务操作一般插入数据没什么好说的，但是在数据量比较多的时候，总体的插入就会很慢，这个时候最基本的操作就是批量操作，也就是靠事务进行，比如下面的代码，以 Poco.Data.Sqlite 为例
Poco::Data::Sessi">

    <meta name="twitter:card" content="summary">
    <meta name="twitter:title" content="Poco插入大量数据到数据库的优化 | xilixili.net">
    <meta name="twitter:description" content="最近在调试 Poco 操作数据库的性能问题，确实发现一些有意思的地方，不仅有事务方面的批量，还有容器实现的内部批量，当然先以最基础的事务模式作为开头，来进插入性能的对比测试
事务操作一般插入数据没什么好说的，但是在数据量比较多的时候，总体的插入就会很慢，这个时候最基本的操作就是批量操作，也就是靠事务进行，比如下面的代码，以 Poco.Data.Sqlite 为例
Poco::Data::Sessi">

    <meta property="og:type" content="article">
    <meta property="og:title" content="Poco插入大量数据到数据库的优化 | xilixili.net">
    <meta property="og:description" content="最近在调试 Poco 操作数据库的性能问题，确实发现一些有意思的地方，不仅有事务方面的批量，还有容器实现的内部批量，当然先以最基础的事务模式作为开头，来进插入性能的对比测试
事务操作一般插入数据没什么好说的，但是在数据量比较多的时候，总体的插入就会很慢，这个时候最基本的操作就是批量操作，也就是靠事务进行，比如下面的代码，以 Poco.Data.Sqlite 为例
Poco::Data::Sessi">

    
    <meta name="author" content="rangerlee">
    
    <link rel="stylesheet" href="/css/vno.css">
    <link rel="stylesheet" href="/css/font-awesome.min.css">

    
    <link rel="icon" href="/images/avatar-small.png">
    

    <meta name="generator" content="hexo"/>
    
    <link rel="alternate" type="application/rss+xml" title="xilixili.net" href="/atom.xml">
    

    <link rel="canonical" href="xilixili.net/2019/04/11/insert-big-data-into-database-with-poco/"/>

                 
</head>

<body class="home-template no-js">
    <script src="//cdn.bootcss.com/jquery/3.2.1/jquery.min.js"></script>
    <script src="/js/main.js"></script>
    <span class="mobile btn-mobile-menu">
        <i class="fa fa-list btn-mobile-menu__icon"></i>
        <i class="fa fa-angle-up btn-mobile-close__icon hidden"></i>
    </span>

    
<header class="panel-cover panel-cover--collapsed">
  <div class="panel-main">
    <div class="panel-main__inner panel-inverted">
    <div class="panel-main__content">

        <h1 class="panel-cover__title panel-title"><a href="/" title="访问首页 xilixili.net">xilixili.net</a></h1>
        
        <span class="panel-cover__subtitle panel-subtitle"><!-- 生活と技术の杂记 --></span>
        
        <hr class="panel-cover__divider">
        
        <p class="panel-cover__description">生活と技术の杂记</p>
        
	<hr class="panel-cover__divider panel-cover__divider--secondary">

        <div class="navigation-wrapper">
          <div>
          <nav class="cover-navigation cover-navigation--primary">
            <ul class="navigation">
              <li class="navigation__item"><a href="/#blog" title="访问博客" class="blog-button">博客</a></li>
            
            </ul>
          </nav>
          </div>
          <div>
          <nav class="cover-navigation navigation--social">
  <ul class="navigation">

  <!-- Weibo-->
  

  <!-- Github -->
  
  <li class="navigation__item">
    <a href="https://github.com/rangerlee" title="查看我的GitHub主页" target="_blank">
      <i class="social fa fa-github"></i>
      <span class="label">Github</span>
    </a>
  </li>


<!-- Stack Overflow -->
        

  <!-- Google Plus -->
  

<!-- Facebook -->

  
<!-- Twitter -->

  

  <li class="navigation__item">
    <a href="/atom.xml" title="RSS" target="_blank">
      <i class="social fa fa-rss"></i>
      <span class="label">RSS</span>
    </a>
  </li>


  <li class="navigation__item">
    <a href="mailto:http://mail.qq.com/cgi-bin/qm_share?t=qm_mailme&amp;email=RzUmKSAiNSsiIgchKD8qJi4raSQoKg" title="邮件联系我" target="_blank">
      <i class="social fa fa-envelope"></i>
      <span class="label">Email</span>
    </a>
  </li>


  </ul>
</nav>

          </div>
        </div>

      </div>

    </div>

    <div class="panel-cover--overlay cover-alpha"></div>
  </div> 
</header>
<script type="text/javascript">
var side = document.getElementsByClassName("panel-cover")[0];
function checkWebp() {
	try{
		return(document.createElement('canvas').toDataURL('image/webp').indexOf('data:image/webp') == 0);
	}catch(err) {
		return false;
	}
};

if(checkWebp()) {
	side.style.backgroundImage = "url('/images/background-cover.jpg.webp')";
} else {
	side.style.backgroundImage = "url('/images/background-cover.jpg')";
}
</script>


    <div class="content-wrapper">
        <div class="content-wrapper__inner">
            <article class="post-container post-container--single">

  <header class="post-header">
    <div class="post-meta">
      <time datetime="2019-04-11T03:38:00.000Z" class="post-list__meta--date date">2019-04-11</time> &#8226; <span class="post-meta__tags tags">
  <a class="tag-link" href="/tags/技术/">技术</a>
 </span>
      <span class="page-pv">
       阅读 <span id="busuanzi_value_page_pv"><i class="fa fa-spinner fa-spin"></i></span>
      </span> 
   
    </div>
    <h1 class="post-title">Poco插入大量数据到数据库的优化</h1>
  </header>

  <section class="post">
    <p>最近在调试 Poco 操作数据库的性能问题，确实发现一些有意思的地方，不仅有事务方面的批量，还有容器实现的内部批量，当然先以最基础的事务模式作为开头，来进插入性能的对比测试</p>
<h3 id="事务操作"><a href="#事务操作" class="headerlink" title="事务操作"></a>事务操作</h3><p>一般插入数据没什么好说的，但是在数据量比较多的时候，总体的插入就会很慢，这个时候最基本的操作就是批量操作，也就是靠事务进行，比如下面的代码，以 <code>Poco.Data.Sqlite</code> 为例</p>
<figure class="highlight cpp"><table><tr><td class="code"><pre><span class="line">Poco::Data::<span class="function">Session <span class="title">sess</span><span class="params">(<span class="string">"SQLite"</span>, <span class="string">"test.db"</span>)</span></span>;</span><br><span class="line">sess &lt;&lt; <span class="string">"create table if not exists test ("</span></span><br><span class="line">		<span class="string">"[col_a] NVARCHAR(256) NOT NULL,"</span></span><br><span class="line">		<span class="string">"[col_b] NVARCHAR(256) NOT NULL)"</span>, Poco::Data::Keywords::now;</span><br><span class="line"></span><br><span class="line">DWORD tick = GetTickCount();</span><br><span class="line">sess.begin();</span><br><span class="line"><span class="keyword">for</span> (<span class="keyword">size_t</span> i = <span class="number">0</span>; i &lt; <span class="number">1000000</span>; i++) &#123;</span><br><span class="line">	<span class="keyword">char</span> bufa[<span class="number">64</span>] = &#123; <span class="number">0</span> &#125;;</span><br><span class="line">	<span class="keyword">char</span> bufb[<span class="number">64</span>] = &#123; <span class="number">0</span> &#125;;</span><br><span class="line">	<span class="built_in">sprintf</span>(bufa, <span class="string">"test col a %d %d"</span>, i, rand());</span><br><span class="line">	<span class="built_in">sprintf</span>(bufb, <span class="string">"test col b %d %d"</span>, i*<span class="number">2</span>, rand());</span><br><span class="line"></span><br><span class="line">	sess &lt;&lt; <span class="string">"insert into test(col_a,col_b) values(?,?)"</span>, </span><br><span class="line">		Poco::Data::Keywords::use(bufa),</span><br><span class="line">		Poco::Data::Keywords::use(bufb),</span><br><span class="line">		Poco::Data::Keywords::now;</span><br><span class="line">&#125;</span><br><span class="line"></span><br><span class="line">sess.commit();</span><br><span class="line">DWORD n = GetTickCount() - tick;</span><br><span class="line"><span class="built_in">std</span>::<span class="built_in">cout</span> &lt;&lt; n &lt;&lt; <span class="built_in">std</span>::<span class="built_in">endl</span>;</span><br></pre></td></tr></table></figure>
<p>上面简单的生成100万数据量，简单的表，仅考察插入性能，在开始之前，取消事务（即注释掉<code>sess.begin()</code> 和 <code>sess.commit()</code>）测试一下，一分钟都没好，直接KILL程序。当你再跑一次上面的程序，耗时输出是8秒，差异特别大。</p>
<blockquote>
<p>now关键字是立即执行的意思，即使放到了事务中，也是在事务中立即执行，一定不能丢掉。</p>
</blockquote>
<h3 id="容器的性能提升"><a href="#容器的性能提升" class="headerlink" title="容器的性能提升"></a>容器的性能提升</h3><p>如果仔细查看Poco的文档，就会发现其中支持STL容器，并且插入也是支持的，这个意思是不是就是说，直接把数据给Poco，内部会自动批处理吗？带着疑问再做一次测试</p>
<figure class="highlight cpp"><table><tr><td class="code"><pre><span class="line">DWORD tick = GetTickCount();</span><br><span class="line"><span class="built_in">std</span>::<span class="built_in">list</span>&lt;<span class="built_in">std</span>::<span class="built_in">string</span>&gt; a, b;</span><br><span class="line"><span class="keyword">for</span> (<span class="keyword">size_t</span> i = <span class="number">0</span>; i &lt; <span class="number">1000000</span>; i++) &#123;</span><br><span class="line">	<span class="keyword">char</span> bufa[<span class="number">64</span>] = &#123; <span class="number">0</span> &#125;; <span class="keyword">char</span> bufb[<span class="number">64</span>] = &#123; <span class="number">0</span> &#125;;</span><br><span class="line">	<span class="built_in">sprintf</span>(bufa, <span class="string">"test col a %d %d"</span>, i, rand());</span><br><span class="line">	<span class="built_in">sprintf</span>(bufb, <span class="string">"test col b %d %d"</span>, i * <span class="number">2</span>, rand());</span><br><span class="line">	a.push_back(bufa); b.push_back(bufb);</span><br><span class="line">&#125;</span><br><span class="line"></span><br><span class="line">sess &lt;&lt; <span class="string">"insert into test(col_a,col_b) values(?,?)"</span>,</span><br><span class="line">		Poco::Data::Keywords::use(a),</span><br><span class="line">		Poco::Data::Keywords::use(b),</span><br><span class="line">		Poco::Data::Keywords::now;</span><br><span class="line"></span><br><span class="line">DWORD n = GetTickCount() - tick;</span><br><span class="line"><span class="built_in">std</span>::<span class="built_in">cout</span> &lt;&lt; n &lt;&lt; <span class="built_in">std</span>::<span class="built_in">endl</span>;</span><br></pre></td></tr></table></figure>
<p>执行起来又是看不到结束的迹象，这也印证了这并不是事务模式，可能只是某些方面的优化，是不是有优化效果呢，我们将数量改为1000，有很小的进步。那么将上面二者结合呢</p>
<h3 id="容器与事务结合"><a href="#容器与事务结合" class="headerlink" title="容器与事务结合"></a>容器与事务结合</h3><p>通过将容器数据进行事务包装，效果有多大改观呢，为容器语句前后简单的加上事务的启动和提交代码（即增加<code>sess.begin()</code> 和 <code>sess.commit()</code>）进行对比测试，这次执行却只需要2秒多，对比前面的是8秒多，差距明显。</p>
<p>为了更加简单的减少字符串操作引起的差异，直接插入固定字符串，只涉及到数据库操作部分，对比之后发现效果是7秒多和1秒多，也就是说即使前面容器对操作的改观小数据量不大，但在大数据量下面的差距会被放大很多。</p>
<p>综述，使用容器和事务结合的方法在大数据量插入的操作下效果提升非常明显！</p>
<blockquote>
<p>这里测试效果仅仅是对比效果，不要在意数字大小，毕竟使用SSD效果比机械硬盘好，表结构有诸多限制也会大大降低插入速度，总体而言上面的方法是比较快的办法，实际中的差异可根据具体的表结构和环境进行对比测试。</p>
</blockquote>

  </section>

</article>

<section class="read-more">
           
    
               
            <div class="read-more-item">
                <span class="read-more-item-dim">最近的文章</span>
                <h2 class="post-list__post-title post-title"><a href="/2019/04/15/ffmpeg-and-sdl-win32-video-player-plugin/" title="FFMPEG和SDL实现流媒体播放控件">FFMPEG和SDL实现流媒体播放控件</a></h2>
                <p class="excerpt">
                
                之前为项目中使用ffmpeg与SDL封装了一个视频播放控件，用起来挺简单的，在此分享下大概的实现方法和效果。
基本需求原本项目中被C#调用了一个第三方的播放RTMP的控件，但是呢问题特别多，而且不能再定制功能，因为我接手给实现了一个，大致的需求如下

提供DLL供其他语言调用，主要是C#

支持多窗
                &hellip;
                </p>
                <div class="post-list__meta"><time datetime="2019-04-15T13:27:00.000Z" class="post-list__meta--date date">2019-04-15</time> &#8226; <span class="post-list__meta--tags tags">
  <a class="tag-link" href="/tags/技术/">技术</a>
</span><a class="btn-border-small" href="/2019/04/15/ffmpeg-and-sdl-win32-video-player-plugin/">继续阅读</a></div>
                           
            </div>
        
        
               
            <div class="read-more-item">
                <span class="read-more-item-dim">更早的文章</span>
                <h2 class="post-list__post-title post-title"><a href="/2019/04/04/about-float-number/" title="关于浮点数的精度问题">关于浮点数的精度问题</a></h2>
                <p class="excerpt">
                
                最近在调试 Jsoncpp 输出 Json 时候的浮点数问题，起因还是 Jsoncpp 输出精度的问题。又想起之前 java 开发同事竟然信心满满的告诉我说 double 不存在精度问题，真是感慨非C程序员对底层技术的掌握甚少。
关于浮点数一般我们把数字称为整数、小数等，但是在计算机里面我们却称呼小
                &hellip;
                </p>
                <div class="post-list__meta"><time datetime="2019-04-04T08:36:00.000Z" class="post-list__meta--date date">2019-04-04</time> &#8226; <span class="post-list__meta--tags tags">
  <a class="tag-link" href="/tags/技术/">技术</a>
</span><a class="btn-border-small" href="/2019/04/04/about-float-number/">继续阅读</a></div>
                       
            </div>
        
     
   
   
  
</section>



	<script>
	(function(){
		var bp = document.createElement('script');
		var curProtocol = window.location.protocol.split(':')[0];
		if (curProtocol === 'https') {
			bp.src = 'https://zz.bdstatic.com/linksubmit/push.js';        
		}
		else {
			bp.src = 'http://push.zhanzhang.baidu.com/push.js';
		}
		var s = document.getElementsByTagName("script")[0];
		s.parentNode.insertBefore(bp, s);
	})();
	</script>



<script>
(function(){
var src = (document.location.protocol == "http:") ? "http://js.passport.qihucdn.com/11.0.1.js?8612a7fa26d7ba4562be733ae33649b1":"https://jspassport.ssl.qhimg.com/11.0.1.js?8612a7fa26d7ba4562be733ae33649b1";
document.write('<script src="' + src + '" id="sozz"><\/script>');
})();
</script>



            <footer class="footer">
    <span class="footer__copyright">
        &copy; 2023 rangerlee - 本站点采用 <a href="http://creativecommons.org/licenses/by-nc-sa/4.0/">知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议</a>
       
    </span>
    <span class="footer__copyright">
             - 本站基于开源 <a href="http://hexo.io">Hexo</a> 搭建，采用 <a href="https://github.com/rangerlee/hexo-theme-new-vno">hexo-theme-new-vno</a> 主题，修改自 <a href="https://github.com/monniya/hexo-theme-new-vno ">new-vno</a> 主题  <a href="http://www.beian.miit.gov.cn">皖ICP备16009457号</a>
         </span>
       
    
    
</footer>


        </div>
    </div>

     
    
    <script>
        var _hmt = _hmt || [];
        (function() {
            var hm = document.createElement("script");
            hm.src = "//hm.baidu.com/hm.js?bab4f71524319c10819bcae280021624";
            var s = document.getElementsByTagName("script")[0]; 
            s.parentNode.insertBefore(hm, s);
        })();
    </script>



    <script async src="//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js"></script>
    
    
</body>
</html>
